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Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struktur 
mit mehreren Kameras sowie eine Vorrichtung hierfur 

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur mit zumindest einer bzw. mehreren Kameras gemaG 
dem Oberbegriff von Anspruch 1 sowie eine entsprechende Vorrichtung hierfur. 

Herkommlicherweise werden bislang zum Erkennen einer auf einem Substrat aufzu- 
bringenden Struktur optische Vermessungen durchgefuhrt, wobei haufig verschiede- 
ne Systeme zur vollautomatischen Prufung der Struktur, u.a. Klebstoff und Dichtmit- 

•telraupen, verwendet werden. Hierzu werden mehrere Videokameras auf die zu er~ 
kennende Struktur gerichtet, wobei zusatzlich ein Beleuchtungsmodul erforderlich ist, 
das zur Erzeugung eines kontrastreichen Kamerabiides dient. 

Um eine Kleberraupe bzw. Kieberspur beim Auftragen uberwachen zu konnen, ist es 
erforderlich, dass eine Referenzkleberspur eingelernt wird, d.h. von der Kamera bzw. 
den Kameras abgefahren wird, um daraus entsprechende Parameter zu berechnen, 
nach denen die aufgebrachten Kleberspuren daraufhin bewertet werden. 

Bisher war es erforderlich, dass beim Einlernen einer Referenzkleberspur jede Ka- 
mera einzeln diese Referenzkleberspur abfahren musste, um fur alle Positionen Ka- 
merabilder zu erhalten. Das heiftt, dass bei der Verwendung von drei Kameras die 
Referenzkleberspur dreimal hintereinander abgefahren werden musste und die drei 
unterschiedlichen Bildsequenzen der drei Kameras zugeordnet werden mussten. 
Daraus ergibt sich der Nachteil, dass die Parametrierung der Referenzkleberspur 
umstandlich und zeitintensiv ist sowie zu einer hohen Ungenauigkeit fuhren kann. 

Daruber hinaus besteht Bedarf nach einem Verfahren zum Erkennen einer auf einem 
Substrat aufzubringenden Struktur fur zumindest eine bzw. mehrere Kameras, wel- 
ches eine Auftragsstruktur bzw. Kieberspur mit hoher Genauigkeit und Geschwindig- 
keit wahrend des Auftragens uberwacht. 
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Somit ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erkennen einer 
auf einem Substrat aufzubringenden Struktur fur zumindest eine bzw. mehrere Ka- 
meras bereitzustellen, welches eine schneile Inbetriebnahme mit hoher Genauigkeit 
bzw. ein schnelies Einlernen der Referenzkieberspur ermogiicht 

Des weiteren ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erken- 
nen einer auf einem Substrat aufzubringenden Struktur fur zumindest eine bzw. meh- 
rere Kameras bereitzustellen, welches eine Auftragsstruktur bzw. Kleberspur mit ho- 
her Genauigkeit und Geschwindigkeit wahrend des Auftragens uberwacht. 

Ferner ist es Aufgabe der vorliegenden Erfindung, eine geeignete Vorrichtung zur 
Durchfuhrung des erfindungsgemafien Verfahrens bereitzustellen. 

Diese Aufgaben werden verfahrenstechnisch mit den Merkmalen von Anspruch 1 
und 4 sowie vorrichtungstechnisch mit den Merkmalen von Anspruch 23 gelost 

Bei der erfindungsgemaften Vorrichtung und dem erfindungsgemaften Verfahren 
wird einerseits eine Referenzauftragsstruktur eingelernt und weitere aufgebrachte 
Auftragsstrukturen bzw. Kleberspuren zu dessen Bewertung mit der Referenzauf- 
tragsstruktur verglichen. Dabei ist es unerheblich, ob die erfindungsgemafte Auf- 
tragsvorrichtung, d . h. d ie A uftragsvorrichtung m it K ameras, o der a Is k inematische 
Umkehr das Substrat bewegt wird. 

Das erfindungsgemafie Verfahren ermogiicht es, dass durch das Einlernen einer Re- 
ferenzauftragsstruktur durch lediglich ein einmaliges Abfahren dieser Referenzauf- 
tragsstruktur die Bilder aller Kameras in einer Bildsequenz aufgenommen bzw. ge- 
speichert werden konnen. Dadurch wird die Inbetriebnahme einer derartigen Vorrich- 
tung auf eine kurze Einlernzeit verringert. 

GemaO) einem erfindungsgemafien Verfahren zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur, vorzugsweise einer Kleberraupe oder Kleberspur, mit 
mindestens einer Kamera, insbesondere mehreren Kameras, wobei die aufgebrachte 
Struktur beim Abfahren fur die Bewertung dieser Struktur derail: als optisches Abbild 
verarbeitet wird, dass von jeder Kamera lediglich ein Streifen des Bildes unter Bil- 
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dung einer Bildsequenz aufgenommen wird und die Bildaufnahmefrequenz entspre- 
chend der Datenverminderung durch die Aufnahme von ledigiich einen Streifen des 
Bildes erhoht wird, erhalt man ein vorteilhaftes Erkennungsverfahren und Uberpru- 
fungsverfahren fur eine aufzubringende Struktur, welches eine hohe Genauigkeit 
aufweist und vollautomatisierbar ist. Dadurch kann eine Kleberspur parallel zum Auf- 
bringen der Kleberspur uberwacht werden. 

Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Unteranspruchen. So ist 
von Vorteil, wenn von jeder Kamera ledigiich ein Streifen des Bildes unter Bildung 
eines Teils der Bildsequenz aufgenommen wird, um die zu verrechnenden Daten zu 
minimieren. Durch die geringeren zu verrechneten Daten konnen durch die hohe 

• Bildaufnahmefrequenz vergleichsweise kurze Teilabschnitte der gesamten Kleber- 
spur aufgenommen werden, welche beispielsweise zwischen 1mm und 3mm liegen, 
so dass die Kleberspur nach Art einer Vektorkette aus den einzelnen Bildern automa- 
tisch verfolgt werden kann. 

Daruber hinaus ist es von Vorteil, dass die Bildaufnahmefrequenz entsprechend der 
Datenverminderung durch die Aufnahme von ledigiich einem Streifen des Bildes er- 
hoht wird, was insbesondere durch den Einsatz der Partial-Scantechnik ermoglicht 
wird, so dass eine hohere Bildwiederholrate erreicht wird. Folglich ist es moglich, 
dass synchron und parallel von alien Kameras gleichzeitig Bilder erfasst werden kon- 
nen. Die Bildaufnahmen f olgen somit in definierten f esten Zeitabstanden und sind 
unabhangig von der Robotersteuerung. 

Erfindungsgemafi werden die Bildstreifen der einzelnen Kameras zu einem einzigen 
Bild zusammengefugt, wodurch sich der Vorteil ergibt, dass die jeweiligen Bilder der 
einzelnen Kameras jeweils ortsabhangig entsprechend zugeordnet sind und syn- 
chron aufgenommen und verarbeitet werden konnen. Somit wird des Weiteren ein 
fehlerhaftes Einlernen vermieden, da die Bilder der einzelnen Kameras stets zeit- 
und ortrichtig zugeordnet werden. 

GemaR. einer bevorzugten Ausfuhrungsform werden pro Kamera in etwa nur 1/4 der 
Bildzeilen als Bildstreifen verwendet und dadurch die Bildaufnahmefrequenz vervier- 
facht. 
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Des weiteren ist es vorteilhaft, wenn die Parametrierung der von der Referenzauf- 
tragsstruktur erhaltenen Bildsequenz, welche aus einem einzigen Bildaufnahmelauf 
alier Kameras resuitieri, automatisch durch ein einmaliges externes Anzeigen bzw. 
externes Markieren (bspw. per Mausklick) der Referenzauftragsstruktur vorgenom- 
men wird und zum Vergleich mit einer aufgebrachten Kleberspur verwendet wird. Fur 
die Parametrierung wird insbesondere d er Roboterverfahrweg, die Roboterverfahr- 
zeit, die Richtung, die Breite und die Gute der Kleberspur verwendet. Durch dieses 
einfache Parametrierungsverfahren vermindert sich die Gefahr von Fehlbedienung 
oder Fehlparametrierung, wobei das System auch durch gering qualifiziertes Perso- 
nal b edienbar i st. 3arr.it e rzeugt d iese P arametrierung e ine V ektorisierung d er g e- 

• samten Kleberspur, wobei diese auf Grund der hohen Bildaufnahmefrequenz eine 
sichere und automatische Gberprufung der Kleberspur ermoglicht. Dadurch ergibt 
sich ferner, dass nach einem Tausch des Sensorkopfs lediglich eine Rekalibrierung 
bzw. eine Neukalibrierung erfolgen muss, ohne dass die Spur erneut eingelemt wer- 
den muss. 




Gemaft einer bevorzugten Ausfuhrungsform der Erfindung wird eine Bewertungs- 
funktion, insbesondere Fuzzy-Bewertung zum Auswerten der Klebstoffspur bzw. Kle- 
berspur verwendet, wobei insbesondere die Breite des Kantenpaares der rechten 
und linken Kante der Kleberspur, der mittlere Grauwert des projizierten Grauwertpro- 
fils zwischen dem Kantenpaar, der Randkontrast und der Positionsverlauf mittels der 
Bewertungsfunktion verrechnet werden, wobei als Folge davon die Klebstoffspur ge- 
nau beschrieben werden kann, um diese sicher automatisch zu erkennen. 



Ferner ist es vorteilhaft, wenn die Kante der Kleberspur auf einer Kreisbahn ermittelt 
wird, um die Klebstoffspur um die Auftragseinrichtung herum bei einem beliebigen 
Verlauf jeweils in einem definierten Bereich zu erfassen. 

GematJ einer bevorzugten Ausfuhrungsform stimmt der Mittelpunkt der Kreisbahn im 
wesentlichen mit der Stelle uberein, aus welcher der Kleber zur Bildung der Kleber- 
spur austritt, wobei jede Kamera zumindest ein Segment des aus der Kreisbahn ge- 
bildeten Kreises uberwacht. 
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Wenn jede Kamera zumindest einen Uberlappungsbereich mit zumindest einer an- 
grenzenden Kamera uberwacht, konnen Fehler beim Ubergang von einer Kamera 
zur nachsten vermindert werden. 

Besonders vorteilhaft ist es, wenn die Winkelwerte der Kreisbahn von 0 bis 360° ein 
giobales Koordinatensystem der einzelnen Kameras bilden, wobei den Bildern der 
einzelnen Kameras ein Segment der Kreisbahn zugeordnet wird. Als Folge davon 
kann der Verlauf der Kieberspur von jeweils zumindest einer aktiven Kamera verfoigt 
werden, wodurch mit relativ einfachen Mitteln Aussagen uber die gesamte Kieber- 
spur sowie deren Lage bzw. Verlauf getroffen werden kann. 

Gemafi einer bevorzugten Ausfuhrungsform deckt eine erste Kamera einen Winkel- 
bereich von -10° bis 130° eine zweite Kamera einen W inkelbereich von 110° bis 
250° und eine dritte Kamera einen Winkelbereich von 230° bis 1 0° a b, wenn drei 
Kameras verwendet werden. 

Daruber hinaus ist es von Vorteil, wenn bei dem Verlauf der Kieberspur von einer 
Kamera zur nachsten automatisch umgeschaltet wird, wenn die Kieberspur von dem 
Segment d er K reisbahn e iner K amera u ber d en 0 berlappungsbereich i n d as S eg- 
ment der Kreisbahn einer anderen Kamera verlauft. Als folge davon ist es moglich, 
dass dem Verlauf der Spur bzw. der Lage der Spur sicher gefolgt werden kann und 
diese entsprechend voraussehbar sind. Somit kann rechtzeitig ein voll automatisches 
Umschalten der benachbarten Kameras erfolgen, so dass sich die Parametrierzeiten 
verringern. 

Des Weiteren ist es von Vorteil, wenn zur Beleuchtung LED Leuchtmittel verwendet 
werden, welche eine Lichtfarbe umfassen, die einen geeigneten Kontrast zur Farbe 
der Auftragsstruktur aufweist. Die Lichtfarbe wird dabei derart ausgewahlt, dass sich 
nach dem Prinzip der Komplementarfarben der grofite Kontrast zwischen dem Sub- 
strat u nd d er K lebstoffspur e rgibt. V orteilhafterweise w erden I nfrarot L ED oder U V 
LEDs verwendet. Besondere Vorteile ergeben sich, wenn man Leuchtdioden ver- 
wendet, die auf Grund ihrer besonderen Bauweise in der Lage sind, rotes, grunes 
und blaues Licht zu emittieren, insbesondere bei der Verwendung von RGB LEDs. 
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Somit kann der Sensoraufbau ohne weitere Umbauten auf eine entsprechende Kleb- 
stofffarbe umgestellt werden. 

Wenn LEDs in Farbirippein aus den Farben Rot, Grun und Biau verwendet werden, 
kann die am besten g eeignete Mischfarbe f ur die optimale Kontrastierung erzeugt 
werden. 

Gemafi einer Ausgestaltung der Erfindung werden die LEDs geblitzt, wobei insbe- 
sondere Stromimpulse von 1,0 bis 0,01 ms auf die Dioden aufgebracht werden, um 
wahrend des Abfahrens des Sensors uber dem Substrat scharfe Bilder insbesondere 
von der Kiebstoffspur zu erhalten. 

Mit vorliegender Erfindung wird eine Vorrichtung zum Erkennen einer auf einem 
Substrat aufzubringenden Struktur, vorzugsweise eine Kleberraupe oder Kleberspur, 
zur Durchfuhrung eines erfindungsgemaften Verfahrens nach Anspruch 1 bzw. 4 be- 
reitgestellt, wobei zumindest ein Beieuchtungsmodul und eine Sensoreinheit vorge- 
sehen ist. Die Sensoreinheit ist aus zumindest einer bzw. mehreren Kameras aufge- 
baut, welche um die Einrichtung zum Auftragen der Struktur vorgesehen und ange- 
ordnet sind sowie auf die Einrichtung zum Auftragen der Struktur jeweils ausgerichtet 
sind. Dadurch ist es moglich, dass der Verfahrweg der Vorrichtung uber einem Sub- 
strat bzw. ein Verfahrweg des Substrats bzgl. der Vorrichtung stets in alien Richtun- 
gen durch die Ausrichtung der Kameras auf die Auftragseinrichtung uberwacht wer- 
den kann. 

Wenn sich die axiale Langsachse der einzelnen Kameras in Blickrichtung im wesent- 
lichen mit der axialen Langsachse der Auftragseinrichtung schneidet, so ist es ge- 
mote einer derartigen Weiterbiidung vorteilhaft, dass ein enger Bereich um die Auf- 
tragseinrichtung mit geeigneter Aufiosung und hoher Bildaufnahmefrequenz uber- 
wacht werden kann. 

Gemaft einem bevorzugten Ausfuhrungsform sind einzelne Kameras, insbesondere 
3 Kameras, in Umfangsrichtung in jeweils gleichem Abstand voneinander angeord- 
net. 
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Vorteilhafterweise werden die einzelnen Kameras derart verschaltet, dass die Bilder 
der Kameras in einer Bildsequenz gespeichert werden, so dass diese Bilder syn- 
chron und parallel sowie zugeordnet aufgenommen werden konnen. 

Gemafi einer Ausgestaltung einer Erfindung bilden die Kameras einen Kreiscaliper, 
dessen Mittelpunkt die Auftrageinrichtung der Struktur bildet. Dabei konnen ein oder 
mehrere kreisformige Caliper verwendet werden, diees ermoglichen, dass dieEr- 
mittlung der Kante der Kleberspur auf einer Kreisbahn stattfindet. 

Gemali einem bevorzugtem Ausfuhrungsform weisen die einzelnen Kameras einen 
Uberiappungsbereich von jeweils mindestens 10° zur nachsten Kamera auf. Dieser 
Oberlappungsbereich ermoglicht ein vollautomatisches Umschalten von benachbar- 
ten Kameras, wenn die Klebstoffspur von dem Oberwachungsbereich einer Kamera 
in den nachsten verlauft, da die Auswahl der Kamera nicht gebunden an die Robo- 
terposition oder eine zeitliche Komponente gebunden ist, sondern sich auf die aktuel- 
len Inspektionsergebnisse bezieht, d. h. auf der Anordnung auf der Kreisbahn des 
Kreiscalipers bzw. auf dem dadurch gebildeten globalen Koordinatensystem. 

Ferner ist es von Vorteil, wenn das Beleuchtungsmodul aus LEDs, insbesondere Inf- 
rarot-LEDs, UV-LEDs oder RGB-LEDs aufgebaut ist. 

Daruber hinaus ist es von Vorteil, wenn zur Kalibrierung der einzelnen Kameras fur 
die Zuordnung der Winkelzugehorigkeit eine Kalibrierscheibe mit einzelnen Form- 
elementen verwendet wird, wobei diese Formelemente insbesondere einen Winkel- 
abstand von im wesentlichem 10° aufweisen. Dadurch kann der Skalierungsfaktor, 
die Winkelzugehorigkeit und der Mittelpunkt sowie der Radius des Suchkreises fur 
die einzelnen Kameras zugeordnet werden. Erfindungsgemali weist die Kalibrier- 
scheibe zumindest drei Markierungsstellen auf, die in einem Kreisbogen der Kalib- 
rierscheibe von im wesentiichen 0°, 120° und 240° angeordnet sind, urn drei Kame- 
ras zu kalibrieren. 



Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der ubrigen 
Unteranspruche. 
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Anhand der nachfolgenden Zeichnungen werden beispielhaft vorteilhafte Ausgestal- 
tungen der Erfindung dargestellt. 

Figur 1 zeigt eine schematische Seitenansicht einer erfindungsgemaften Vorrichtung 
zum Auftragen und Gberwachen einer Klebstoffspur. 

Figur 2 zeigt eine perspektivische Ansicht der erfindungsgemaften Vorrichtung von 
Figur 1 . 

Figur 3 zeigt den Verfahrweg der erfindungsgemafien Vorrichtung zum Aufbringen 
und Gberwachen einer Klebstoffspur. 

Figur 4 zeigt einen anderen Verfahrweg der erfindungsgemaften Vorrichtung bzgl. 
des Umschaltens der reievanten Kameras. 

Figur 5 ist eine Darstellung eines einzigen Biids, dass aus drei Bildstreifen von drei 
Kameras zur Online-Gberwachung zusammengesetzt ist. 

Figur 6 erlautert den prinzipieilen Aufbau der Software. 

Figur 7 zeigt schematisch eine erfindungsgemalie Kalibriervorrichtung zum kalibrie- 
ren der einzelnen Kameras der erfindungsgemaften Vorrichtung zum Erkennen einer 
auf einem Substrat aufzubringenden Struktur. 

Im Weiteren wird nun der Aufbau der erfindungsgemalien Vorrichtung zum Erkennen 
einer auf einem Substrat aufzubringenden Struktur gemaft den Figuren 1 und 2 er- 
lautert. 

Mit dem Bezugszeichen 10 ist die schematisch dargestellte Vorrichtung zum Aufbrin- 
gen und Erkennen einer Kleberspur gezeigt. Dabei ist im Zentrum der erfindungsge- 
ma&en Vorrichtung eine Auftragseinrichtung 11 angeordnet, durch welche eine Kleb- 
stoffspur 20 auf ein Substrat bzw. auf ein Blech 30 in der Fig. 1 von rechts nach links 
aufgebracht wird. Um die Auftragseinrichtung 11 sind in einem Kreis drei Kameras 
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12, 13, 14 in gleichmaftigem Abstand angeordnet, die auf die Auftragseinrichtung 11 
jeweiis ausgerichtet sind. Wie aus Figur 1 ersichtlich, schneiden sich die axialen 
Langsachsen der drei Kameras 12, 13, 14 mit der axialen Langsachse der Auf- 
tragseinrichtung 1 1 u nmitielbar u nterhalb d es S ubstrats 3 0, s odass d er F okus d er 
einzelnen Kameras unmitteibar urn den Bereich der Auftragseinrichtung 1 1, insbe- 
sondere auf einer Kreisbahn, angeordnet ist. 

Bei der Klebstoffinspektion wird nun entweder die Auftragseinrichtung mit den Kame- 
ras oder das Substrat verfahren, wobei gleichzeitig die Klebstoffspur 20 auf das Sub- 
strat 30 mittels der Auftragseinrichtung 11 aufgebracht wird und wobei die Kameras 
12, 13, 14 die aufgebrachte Struktur uberwachen. Es ist hierzu moglich, die Auf- 
tragseinrichtung mit den Kameras oder das Substrat zu verfahren, um die Klebstoff- 
spur in einem gewunschten Verlauf auf dem Substrat 30 aufzubringen. Dadurch kon- 
nen die mitfahrenden Kameras simultan mit dem Auftragen die Klebstoffspur unab- 
hangig von dem Verfahrweg uberwachen. In Fig. 2 verlauft die Klebstoffspur 20 von 
links nach rechts, wobei diese als durchgezogene Linie dargestellt ist. Rechts von 
der Auftragseinrichtung 1 1 ist der beabsichtigte Verlauf der Klebstoffspur 20 mit ge- 
strichelter Linie angezeigt. 

Figur 3 zeigt nun den Verlauf der Klebstoffspur 20, welcher mittels Pfeilen angezeigt 
wird, wobei an drei Stellen die Ausrichtung bzw. der Sichtbereich der einzelnen drei 
Kameras dargestellt ist. Die Sichtbereiche der einzelnen drei Kameras sind jeweiis 
durch ein Rechteck mit durchgezogener Linie, ein Rechteck mit weit gestrichelten 
Linien und ein Rechteck mit eng gestrichelten Linien dargestellt. Wie aus der Figur 
ersichtlich bleibt die Ausrichtung der einzelnen Sichtbereiche stets konstant ausge- 
richtet, wobei lediglich die gesamte Vorrichtung verfahren wird. 

Figur 4 zeigt einen weiteren Verlauf einer Klebstoffspur 20, wobei jeweiis angezeigt 
ist, welcher Sichtbereich aktiv ist, d. h. welche Kamera mit dem entsprechenden als 
Rechteck dargestellten Sichtbereich beim Abfahren der Klebstoffspur aktiv ist. 

In Figur 5 sind nun drei Bildstreifen dargestellt, die jeweiis einen relevanten Bildaus- 
schnitt bzw. Bildstreifen der einzelnen drei Kameras von Figur 1 darstellen. Gemaft 
dem erfindungsgemaften Verfahren wird von jeder Kamera lediglich ein Streifen des 
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Bildes aufgenommen, urn fur eine entsprechende Datenverminderung zu sorgen, 
sodass die Aufnahmefrequenz erhoht werden kann, Diese einzelnen Bildstreifen der 
drei Kameras werden zu einem Bild zusammengefugt, wobei die Bildaufnahmen in 
definierten festen Zeitabstanden und unabhangig von der Robotersteuerung fur die 
Auftragseinrichtung erfolgen, Beispielsweise nehmen die Kameras lediglich einen 
Steifen des Bildes auf, wobei an Stelle einer Bildhohe von 480 Bildpunkten eine Bild- 
hohe von rund 100 Bildpunkten (100 Bildzeilen) verwendet wird. Durch diese Partial- 
Scan-Technik, d. h. ein teilweises Ausiesen des Bildaufnahmechips, entstehen nur 
geringe Datenstrome, so dass die Biidaufnahmefrequenz urn das entsprechende 
vielfache erhoht werden kann. Bei der Auswertung der Daten ist es somit moglich, 
dass die Bilder der einzelnen Kameras synchron und parallel und folglich gleichzeitig 
erfasst werden konnen und anschlieliend zu einem einzigen Bild zusammengefugt 
werden, wobei die drei Bildstreifen untereinander angeordnet werden. AIs Folge da- 
von sind die drei Bilder, d. h. die drei Bildstreifen, sofort hinsichtlich des Ortes und 
der Zeit zueinander richtig angeordnet sowie zugeordnet und konnen entsprechend 
verarbeitet werden. Diese spezielle Bildaufnahmetechnik ermoglicht somit das 
gleichzeitige und parallele aufnehmen einzelner Kamerabilder, wodurch es moglich 
wird, dass beim Einlemen einer Referenzauftragsstruktur lediglich ein einmaliges 
Abfahren dieser Struktur vorgenommen werden muss, wobei die Bilder aller Kame- 
ras in einer Bildsequenz gespeichert werden. 

Wenn die Bilder der drei Kameras in einer Bildsequenz gespeichert worden sind, 
wird beim Einlernen der Referenzkleberspur anschliefiend eine Parametrierung die- 
ser Referenzspur durchgefuhrt. Fur die Parametrierung wird der Roboterverfahrweg, 
die Roboterverfahrzeit, die Richtung, die Breite und die Gute der Klebespur verwen- 
det. Somit ergibt sich fur die Kleberspur eine Art Vektorkette, wodurch es moglich ist, 
die hohe Biidaufnahmefrequenz und die vergleichsweise kurzen Teilabschnitte (zwi- 
schen 1 und 3 mm) zu erzieien. Die Vektorvisierung hat ferner den Vorteil, dass die 
Kleberspur in Form einer Vektorkette in einem kameraubergreifenden, globalem Ko~ 
ordinatensystem abgelegt werden kann. 

Wie aus dem untersten Streifen von Figur 5 ersichtlich, ist urn das Zentrum der Auf- 
tragseinrichtung 11 eine Kreisbahn angeordnet, wobei die beiden Kantenpunkte 21 
und 22 der Klebstoffspur 20 auf der Kreisbahn angeordnet sind. Diese Kreisbahn ist 
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derart unterteilt, dass einer ersten Kamera ein Winkelbereich von -10° bis 130°, ei- 
ner zweiten Kamera ein Winkelbereich von 110° bis 250° und einer dritten Kamera 
ein Winkelbereich von 230° bis -10° zugeordnet wird, sodass eine luckenlose Abde- 
ckung mit Uberiappungsbereichen der einzeinen Kameras urn die Auftragseinrich- 
tung 1 1 herum ermoglicht wird. Daraus ergibt sich fur die drei Bildstreifen ein globa- 
les Koordinatensystem, welches sowohl kartesisch als auch polar ausgefuhrt sein 
kann. 

Falls die Kleberspur nun aus dem Sichtbereich einer Kamera lauft, befindet sich die 
Kleberspur ubergangsweise im Uberlappungsbereich der Winkelbereiche der beiden 
Kameras. Wenn nun die Kleberspur von dem Segment der Kreisbahn der einen Ka- 
mera uber den Uberlappungsbereich in das Segment der Kreisbahn einer anderen 
Kamera verlauft, wird von der einen zur anderen Kamera automatisch umgeschaltet. 
Dies ist insbesondere in Figur4 durch die aktiven Sichtbereiche der einzeinen Kame- 
ras dargestellt. 

Die obigen Vorteile werden dadurch erzielt, dass die einzeinen Kameras einen Kreis- 
caliper bilden, dessen Mittelpunkt die Auftrageinrichtung 11 bildet, wobei die Suche 
nach den Kanten 21, 22 der Klebstoffspur auf einer Kreisbahn unmittelbar urn die 
Auftragseinrichtung erfolgt. Hierzu ist es wesentlich, dass die einzeinen Kameras auf 
die A uftragseinrichtung a usgerichtet s ind, w obei s ich d ie a xialen L angsachsen d er 
einzeinen Kameras mit der Langsachse der Auftragseinrichtung schneiden. 

Im Folgenden wird nun eine Teach-ln-Lauf bzw. ein Einlernen einer Referenzkleber- 
spur erlautert. 

Der Einlernvorgang der Referenzkleberspur kann mittels eines Mausklicks vom Be- 
diener auf die Spur begonnen werden, wodurch die Lage der Kleberspur angezeigt 
wird. Dies ist ausreichend, um in den nachsten Kamerabildern die Position und Rich- 
tung der Kleberspur voll automatisch zu erkennen, da die Bildaufnahmefrequenz ent- 
sprechend hoch ist und die einzeinen Bildaufnahmen sehr kurz hintereinander statt- 
finden, beispielsweise alle 1 mm bis 3 mm. Ab dem Startpunkt findet Bild fur Bild die 
Kleberantastung statt, wobei die im aktuellen Bild gefundene Kleberspurposition und 
Kleberspurwinkel als A-Priori-Wissen fur das kommende Bild verwendet wird. Da die 
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Spurradien zumeist grofter als 20 mm betragen, wird somit das vollautomatische Er- 
fassen der Kleberspur moglich, ohne dass ein Mensch das Biid bzw. die Lage der 
Kleberspur ermitteln bzw. bewerten muss. Als Folge davon kann der Suchbereich 
eingeschrankt werden, wodurch mitteis der hohen Biidaufnahmefrequenz errechnet 
werden kann, wo die Kleberspur im wesentlichen im nachsten Bild verlaufen wird. 

in Figur 6 ist der prinzipielle Aufbau der Software dargestellt, wobei der Teach-In- 
Lauf bzw. Einlernlauf die Biidsequenz erzeugt, welche daraufhin die automatische 
Parametrisierung ermoglicht. Diese Parametrisierung kann gegebenenfalls vom Be- 
nutzer voreingestellt werden und wird fur den inspektionslauf zusammen mit einem 
Veriaufs-file fiir die Inspektion einer aufgebrachten Klebstoffspur verwendet. 

Die Onlineuberwachung einer aufgebrachten Klebstoffspur wird nun kurz erlautert. 
Die in Figur 1 gezeigte Auftragseinrichtung 11 bringt die Klebstoffspur auf das Blech 
30 auf, wobei die Auftragseinrichtung 1 1 mit den Kameras uber dem Blech 30 verfah- 
ren wird. Jedoch ist auch eine kinematische Umkehr moglich, d. h., dass das Blech 
30 verfahren wird und die Auftragseinrichtung mit den Kameras ortsfest angeordnet 
ist. Die aufgetragene Klebstoffspur 20 wird synchron und parallel von den Kameras 
12, 13, 14 auf der gemaR, Figur 5 erlauterten Kreisbahn des Kreiscalipers ermittelt 
und ausgewertet, wobei von jeder Kamera jeweils lediglich ein Streifen des Bildes 
aufgenommen wird und in einem einzigen Bild unter Biidung einer Biidsequenz 
zusammengefugt wird. Entsprechend der Datenverminderung durch die Aufnahme 
von lediglich einem Streifen des Bildes jeder Kamera wird die Biidaufnahmefrequenz 
erhoht, wobei die einzelnen Bildstreifen in dem zusammengefugten Bild das 
synchrone und parallele sowie gleichzeitige Erfassen der drei Kamerabilder 
ermoglichen und wobei die einzelnen Bilder der drei Kameras unmittelbar 
ortsabhangig zugeordnet werden konnen. Somit wird eine Onlineuberprufung der 
Klebstoffspur in Echtzeiten moglich, welche durch diehohe Biidaufnahmefrequenz 
sowohl beim Einlernen einer Referenzkleberspur als auch beim Oberprufen der 
aufgebrachten Kleberspur eine hohe Genauigkeit bei hohen 
Verfahrgeschwindigkeiten erzielt Hierbei sind die Informationen uber die 
Klebstoffspur im Klebersuchbereich, die Winkelzuordnung des Sensors, die 
Kleberbewertung, der Roboterverfahrweg und die Roboterverfahrzeit in einer Ver- 
laufsliste zusammen gefasst. 
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Gemafe einer Ausfuhrungsform der vorliegenden Erfindung kann eine Bewertungs- 
funktion zum Auffinden der Kanten der Klebstoffspur, insbesondere eine Fuzzy- 
Bewertung, verwendet werden. Um die Klebstoffspur zu ermitteln und zu bewerten, 
werden mitieis einer Fuzzy-Beweriung foigende Parameter miteinander verrechnet: 

Breite des Kantenpaares (Kantel: linke Kante der Klebstoffspur, Kante 2: rechte 
Kante der Kieberspur), mittlerer Grauwert des projizierten Grauwertprofils zwischen 
dem Kantenpaar, Randkontrast (geometrischer Mittelwert der Arnptituden der beiden 
Kanten) und Positionsverlauf (gerichtete Abweichung des Mittelpunkts zwischen den 
beiden Kleberkanten vom Mittelpunkt des Suchbereichs in Pixel). Durch diese Viel- 
zahi an Parametern kann, auch mit Hilfeder Fuzzy-Bewertungsfunktion, die Kleb- 
stoffspur sehrgenau beschrieben werden, damit d iese s icher a utomatisch erkannt 
wird. 

Fur die erfindungsgemafte Vorrichtung ist das nicht gezeigte Beleuchtungsmodul aus 
LEDs, insbesondere Infrarot-LEDs, UV-LEDs oder RGB-LEDs, aufgebaut. Um hohe 
Kontraste bei der Bildaufnahme zu erhalten, konnen die LEDs geblitzt werden, d. h., 
dass kurze, starke Stromimpulse auf die Dioden im Bereich von 1,0 bis 0,01 ms auf- 
gebracht werden. Dabei sind insbesondere derartige Leuchtdioden vorteilhaft, die 
verschiedenfarbiges Licht emittieren konnen, sodass der Sensoraufbau ohne Um- 
bauten auf andere Klebertypen bzw. Kleberfarben umgestellt werden kann. 

Figur 7 zeigt eine Kalibriereinrichtung 40 in Form einer kreisformigen Kalibrierschei- 
be, um den einzelnen Kameras ihren Skalierungsfaktor, ihre Winkelzugehorigkeit und 
den Mittelpunkt sowie den Radius des Suchkreises zuzuordnen. Die Kalibrierscheibe 
besteht aus einzelnen auf einer Kreisbahn angeordneten Formelementen bzw. Dots 
41, die jeweils in einem Winkelabstand von einem im wesentlichen 10° angeordnet 
sind. In gleichmaftigen Abstand voneinander sind ferner Markierungsstellen 42 an- 
geordnet, um drei Kameras zu kalibrieren. Mittels einer Ausgleichsrechnung wird aus 
den Koordinaten der Mittelpunkte der einzelnen Dots zum einen der Skalierungsfak- 
tor der einzelnen Kameras zum anderen der Mittelpunkt sowie der Radius des Such- 
bereichs berechnet. Durch die Markierungsstellen im Winkel von 0°, 120°, 240° im 
globalem Koordinatensystem kann die Winkelzuordnung und der jeweilige Sichtbe- 
reich der einzelnen Kameras bestimmt werden. Der Sichtbereich der einzelnen Ka- 
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meras i st i nsbesondere d urch d ie d rei R echtecke i n F igur 7 d argestellt, w obei d ie 
Formelemente 41 der Kreisbahn des Kreiscalipers zur Erfassung der Klebstoffspur 
entsprechen konnen. 

GemaB einer nicht gezeigten Ausfuhrungsform wird der Kreiscaliper durch mehrere 
Kameras gebildet, welche urn die Auftragseinrichtung angeordnet sind, jedoch in ei- 
nem unterschiediichen Radius von dem Mittelpunkt der Auftragseinrichtung ange- 
bracht sind. Zur Inspektion einer Auftragsstruktur bzw. Kleberspur warden die Kame- 
ras auf einen Kreis bzw. eine Kreisbahn ausgerichtet, dessen Mittelpunkt mit dem 
Mittelpunkt der Auftragseinrichtung ubereinstimmt Auf dieser Kreisbahn findet die 
oben erlauterte optische Erfassung der Kleberspur statt. 

Somit wird ein Verfahren bzw. eine Vorrichtung zum Erkennen einer auf einem Sub- 
strat aufzubringenden Struktur, vorzugsweise eine Kleberraupe oder Kleberspur, mit 
mindestens einer Kamera, insbesondere mehreren Kameras beschrieben. Dabei 
wird das Einlernen einer Referenzauftragsstruktur durch lediglich ein einmaliges Ab- 
fahren dieser Referenzauftragsstruktur derail vorgenommen, dass die Bilder aller 
Kameras in einer Bildsequenz gespeichert werden. 

Ferner wird ein Verfahren zum Erkennen einer auf einem Substrat aufzubringenden 
Struktur beschrieben, wobei die aufgebrachte Struktur beim Abfahren fur die Bewer- 
tung der Struktur derart als optisches Abbild verarbeitet wird, dass von jeder Kamera 
lediglich ein Streifen des Bildes unter Bildung einer Bildsequenz aufgenommen wird 
und die Bildaufnahmefrequenz entsprechend der Datenverminderung durch die Auf- 
nahme von lediglich einem Streifen des Bildes erhoht wird. 
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Anspruche 

1. Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struk- 
tur, vorzugsweise eine Kleberraupe oder Kleberspur, mit mindestens einer 
Kamera, insbesondere mehreren Kameras, dadurch gekennzeichnet, dass 
das Einlernen einer Referenzauftragsstruktur durch iediglich ein einmaliges 
Abfahren dieser Referenzauftragsstruktur derart vorgenommen wird, dass 
die Bilder aller Kameras in einer Bildsequenz gespeichert werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass von jeder Ka- 
mera Iediglich ein Streifen des Bildes unter Bildung eines Teils der Bildse- 
quenz aufgenommen wird. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bildauf- 
nahmefrequenz entsprechend der Datenverminderung durch die Aufnahme 
von Iediglich einem Streifen des Bildes erhoht wird. 

4. Verfahren zum Erkennen einer auf einem Substrat aufzubringenden Struk- 
tur, vorzugsweise einer Kleberraupe oder Kleberspur, mit mindestens einer 
Kamera, insbesondere mehreren Kameras, dadurch gekennzeichnet, dass 
die aufgebrachte Struktur beim Abfahren fur die Bewertung der Struktur 
derart als optisches Abbild verarbeitet wird, dass von jeder Kamera Iedig- 
lich ein Streifen des Bildes unter Bildung einer Bildsequenz aufgenommen 
wird und die Bildaufnahmefrequenz entsprechend der Datenverminderung 
durch die Aufnahme von Iediglich einem Streifen des Bildes erhoht wird. 

5. Verfahren nach zumindest einem der Anspruche 2 bis 4, dadurch gekenn- 
zeichnet, dass die Bildstreifen der einzelnen Kameras zu einem einzigen 
Bild zusammengefugt werden. 
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6. Verfahren nach zumindest einem der Anspruche 2 bis 5, dadurch gekenrv 
zeichnet, dass pro Kamera in etwa nur 1/4 der Bildzeiien als Streifen des 
Biides verwendet werden und die Biidaufnahmefrequenz vervierfacht wird. 

7. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die Parametrierung der von der Referenzauftrags- 
struktur erhaltenen Bildsequenz, welche aus einem einzigen Bildaufnahme- 
lauf ailer Kameras resultiert, automatisch durch ein einmaliges externes 
Anzeigen d er R eferenzauftragsstruktur v orgenommen w ird u nd z um Ver- 
gleich mit einer aufgebrachten Kleberspur verwendet wird. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass fur die Para- 
metrierung der Roboterverfahrweg, die Roboterverfahrzeit, die Richtung, 
die Breite und die Gute der Kleberspur verwendet wird. 

9. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass eine Bewertungsfunktion, insbesondere eine Fuzzy- 
Bewertung, zum Auswerten der Klebstoffspur verwendet wird. 

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Breite des 
Kantenpaares der rechten und linken Kante der Kleberspur, der mittlere 
Grauwert des projizierten Grauwertprofils zwischen dem Kantenpaar, der 
Randkontrast und der Positionsverlauf mittels der Bewertungsfunktion ver- 
rechnet werden. 

1 1 . Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die Kanten der Kleberspur auf einer Kreisbahn ermit- 
telt werden. 

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Mittel- 
punkt der Kreisbahn im wesentlichen mit der Stelle ubereinstimmt, aus 
weicher der Kleber zur Bildung der Kleberspur austritt. 
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13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass jede 
Kamera zumindest ein Segment des aus der Kreisbahn gebildeten Kreises 
uberwacht 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass jede Kamera 
zumindest einen Uberlappungsbereich mit zumindest einer angrenzenden 
Kamera uberwacht. 

15. Verfahren nach einem der Anspruche 11 bis 14, dadurch gekennzeichnet, 
dass die Winkelwerte der Kreisbahn von 0 bis 360° ein globales Koordina- 
tensystem bilden, wobei den Bildern der einzeinen Kameras ein Segment 
der Kreisbahn zugeordnet wird. 

16. Verfahren nach einem der Anspruche 11 bis 15, dadurch gekennzeichnet, 
dass eine erste Kamera mindestens einen Winkelbereich von -10° bis 
130°, eine zweite Kamera mindestens einen Winkelbereich von 1 10° bis 
250° und eine dritte Kamera mindestens einen Winkelbereich von 230° bis 
10° abdeckt. 

17. Verfahren nach einem der Anspruche 11 bis 16, dadurch gekennzeichnet, 
dass bei dem Verlauf der Kleberspur von einer Kamera zur nachsten au- 
tomatisch umgeschaltet wird, wenn die Kleberspur von dem Segment der 
Kreisbahn e iner K amera u ber d en U berlappungsbereich i n d as S egment 
der Kreisbahn einer anderen Kamera verlauft. 

18. Verfahren nach zumindest einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass zur Beleuchtung LED-Leuchtmittel verwendet wer- 
den, welche eine Lichtfarbe umfassen, die einen geeigneten Kontrast zur 
Farbe der Auftragsstruktur aufweist. 

19. Verfahren nach Anspruch 18, wobei Infrarot-LEDs oder UV-LEDs verwen- 
det werden. 
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20. Verfahren nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass 
Leuchtdioden verwendet werden, insbesondere RGB-LEDs. 

21. Verfahren nach einem der vorhergehenden Anspruche 18 bis 20, dadurch 
gekennzeichnet, dass LEDs in Farbtripeln aus den Farben rot, grun und 
blau verwendet werden. 

22. Verfahren nach einem der Anspruche 18 bis 21, dadurch gekennzeichnet, 
dass die LEDs geblitzt werden, wobei insbesondere Siromimpulse von 1,0 
bis 0,01 ms auf die Dioden aufgebracht werden. 

23. Vorrichtung zum Erkennen einer auf einem Substrat aufzubringenden 
Struktur, vorzugsweise eine Kieberraupe oder Kleberspur, zur Durchfuh- 
rung eines Verfahrens gemaft den Anspruchen 1 bis 22, wobei zumindest 
ein Beleuchtungsmodul und eine Sensoreinheit vorgesehen ist, dadurch 
gekennzeichnet, dass die Sensoreinheit aus mindestens einer Kamera, 
insbesondere mehreren Kameras, aufgebaut ist, wobei die Kameras urn 
die Einrichtung zum Auftragen der Struktur vorgesehen sind und an dieser 
derart angeordnet sind, dass die Kameras jeweils auf die Einrichtung zum 
Auftragen der Struktur ausgerichtet sind. 

24. Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass sich die axi- 
aie Langsachse der einzelnen Kameras in B lickrichtung im wesentlichen 
mit der axialen Langsachse der Auftragseinrichtung schneidet 

25. Vorrichtung nach Anspruch 23 oder 24, dadurch gekennzeichnet, dass die 
einzelnen Kameras, insbesondere drei Kameras, in Umfangsrichtung in je- 
weils gleichem Abstand voneinander angeordnet sind. 

26. Vorrichtung nach einem der Anspruche 23 bis 25, dadurch gekennzeich- 
net, dass die einzelnen Kameras derart verschaltet werden, dass die Bilder 
aller Kameras in einer Bildsequenz gespeichert werden. 
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27. Vorrichtung nach Anspruch 26, dadurch gekennzeichnet, dass von jeder 
Kamera lediglich ein Streifen des Bildes unter Biidung eines Teils der Bild- 
sequenz aufgenornmen wird. 

28. Vorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass die Bildauf- 
nahmefrequenz entsprechend der Datenverminderung durch die Aufnahme 
von lediglich einem Streifen des Bildes erhohtwird. 

29. Vorrichtung nach Anspruch 27 und/oder 28, dadurch gekennzeichnet, dass 
die Biidstreifen der einzelnen Kameras zu einem einzigen Bild zusammen- 
gefugt werden, urn eine Referenzauftragsstruktur einzulemen und mit einer 
aufgebrachten Kleberspurzu vergieichen. 

30. Vorrichtung nach einem der Anspruche 23 bis 29, dadurch gekennzeich- 
net, dass die Kameras zumindest einen Kreiscaliper bilden, dessen Mittel- 
punkt die Einrichtung zum Auftragen der Struktur bildet, wobei insbesonde- 
re die Kameras auf einen Kreis urn die Auftragseinrichtung ausgerichtet 
sind, dessen Mittelpunkt im wesentlichen mit dem Mittelpunkt der Auf- 
tragseinrichtung ubereinstimmt. 

31. Vorrichtung nach einem der Anspruche 23 bis 30, dadurch gekennzeich- 
net, dass die einzelnen Kameras einen Oberlappungsbereich von jeweils 
im wesentlichen 10° zur nachsten Kamera aufweisen. 

32. Vorrichtung nach einem der vorhergehenden Anspruche 23 bis 31, da- 
durch gekennzeichnet, dass das Beleuchtungsmodul aus LEDs, insbeson- 
dere Infrarot-LEDs, UV-LEDs oder RGB-LEDs aufgebaut ist. 

33. Vorrichtung nach Anspruch 32, dadurch gekennzeichnet, dass die LEDs 
geblitzt werden, wobei Stromimpulse von 1,0 bis 0,01 ms verwendet wer- 
den. 

34. Vorrichtung nach einem Anspruche 23 bis 33, dadurch gekennzeichnet, 
dass zur Kalibrierung der einzelnen Kameras fur die Zuordnung der Win- 
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kelzugehorigkeit eine Kalibriervorrichtung mit einzelnen Formelementen 
verwendet wird, wobei die Formelemente insbesondere einen Winkeiab- 
stand von im wesentiichem 10° aufweisen. 

35. Vorrichtung n ach A nspruch 3 4, d adurch g ekennzeichnet, d ass d ie K alib- 
riervorrichtung zumindest drei Markierungsstellen aufweist, die in einem 
Kreisbogen der Kalibriervorrichtung von im wesentlichen 0°, 120° und 240° 
angeordnet sind, urn drei Kameras zu kalibrieren. 

36. Vorrichtung nach Anspruch 35, dadurch gekennzeichnet, dass sich die 
Markierungsstellen auf der Kreisbahn in einem Winkelbereich von jeweiis 
im wesentlichen 10° erstrecken, wobei die Markierungsstellen insbesonde- 
re durch zumindest zwei Formelemente gebildet werden. 



-6- 



20030263 



Anmeider: QuISS GmbH 

Anwaitsakte: QU01 H1 0/P-DE 

Zusammenfassung 

Es wird ein Verfahren bzw. eine Vorrichtung zum Erkennen einer auf einem Substrat 
aufzubringenden Struktur, vorzugsweise eine Kieberraupe oder Kieberspur, mit min- 
destens einer Kamera, insbesondere mehreren Kameras beschrieben. Dabei wird 
das Einlernen einer Referenzauftragsstruktur durch iediglich ein einmaliges Abfahren 
dieser Referenzauftragsstruktur derart vorgenommen, dass die Bilder aller Kameras 
in einer Bildsequenz gespeichert werden. Ferner wird ein Verfahren zum Erkennen 
einer auf einem Substrat aufzubringenden Struktur beschrieben, wobei die aufge- 
brachte Struktur beim Abfahren fur die Bewertung der Struktur derart als optisches 
Abbiid verarbeitet wird, dass von jeder Kamera Iediglich ein Streifen des Bildes unter 
Bildung einer Bildsequenz aufgenommen wird und die Bildaufnahmefrequenz ent- 
sprechend der Datenverminderung durch die Aufnahme von Iediglich einem Streifen 
des Bildes erhoht wird. 
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